An Objectivation of Visual Perception using Virtual Reality, Brain-Computer Interfaces and Deep Learning

Der Sehsinn ermöglicht eine detailgenaue Wahrnehmung der Welt. Virtual Reality (VR), Brain-Computer Interfaces (BCI) und Deep Learning sind neue Technologien, die uns hierbei neue Möglichkeiten für die Erforschung der visuellen Wahrnehmung geben. In dieser Dissertation wird ein System für die Augenheilkunde vorgestellt, das Augenkrankheiten in VR simulieren kann und durch Hinzufügen von BCI und KI eine objektive Diagnostik von Gesichtsfeldausfällen ermöglicht. Für ein besseres Verständnis der Arbeit wird das menschliche Sehen mit Modellen der Computer Vision verglichen und basierend hierauf ein allgemeines vierstufiges Seh-Modell eingeführt. Innerhalb des Modells werden Schnittstellen zwischen der biologisch-realen und der technologisch-virtuellen Welt evaluiert. Besteht heutzutage bei einem Patienten der Verdacht auf einen Gesichtsfeldausfall (Skotom), so werden ophthalmologische Geräte wie das Perimeter zur Ausmessung des Gesichtsfeldes eingesetzt. Das dem Stand der Technik entsprechende Verfahren liegt dem subjektiven Feedback des Patienten zugrunde. Entsprechend können Lerneffekte beim Patienten das Ergebnis nicht unwesentlich beeinflussen. Um diese Problematiken zu umgehen, wurde in dieser Dissertation ein objektives Perimetriesystem auf Basis von VR, BCI und Deep Learning erfolgreich implementiert und evaluiert. Ein weiterer Vorteil des neuen Systems ist die Möglichkeit zur Einsetzung bei Menschen mit Schwerbehinderung, Kindern und Tieren. Der Lösungsansatz dieser Dissertation ist die Simulation (pathologischer/eingeschränkter) Sehzustände. Hierfür wurde der Zustand von Glaukompatienten mit Hilfe von VR-Technologien virtuell abgebildet. Die resultierende VR-Anwendung bildet individuelle Glaukomverläufe immersiv in VR ab. Evaluiert wurde die Simulationsumgebung mit medizinischem Fachpersonal und Glaukompatienten an der Augenklinik des Universitätsklinikums Heidelberg (\textit{N}=22). Hierbei wurde gezeigt, dass VR eine geeignete Maßnahme zur Simulation von Sehbedingungen ist und zum Verständnis des Patientenzustandes einen Beitrag leisten kann. Ausgehend von dieser Simulationsumgebung wurden weitere Software- und Hardwaremodule hinzugefügt. Erzeugte stationäre visuelle Stimuli wurden hierbei eingesetzt, um (simulierte) Sehfehler durch ein Elektroenzephalographie (EEG)-basiertes BCI zu erkennen. Das System wurde in einer internationalen Laborstudie (\textit{N}=15) in Zusammenarbeit mit dem Massachusetts Institute of Technology getestet und validiert. Die gesammelten Daten deuten darauf hin, dass das System für die Klassifizierung des zentralen (88\% Genauigkeit pro 2,5 Sekunden EEG-Daten) und peripheren Gesichtsfeldes (63-81\% Genauigkeit) geeignet ist, während es für periphere Positionen aufgrund der Technologiesensitivität zu Einschränkungen (50-57\% Genauigkeit) kommt. Entsprechend sollte das System für Skotome eingesetzt werden, sofern der Sehausfall das zentrale Sehen oder ganze Quadranten des Gesichtsfelds betrifft. Aufgrund der Notwendigkeit für einen besseren ambulanten EEG-Messaufbau werden modulare, plattformübergreifende Softwareimplementierungen und neuartige, zum Patent angemeldete, EEG-Elektroden vorgestellt. Die neuartigen Elektroden bieten ein besseres Signal-zu-Rausch-Verhältnis als herkömmliche Trockenelektroden (\SI{1,35}{dB} Verbesserung), sind schnell anzulegen, wiederverwendbar und hinterlassen kaum bis keine unerwünschten Rückstände im Haar des Patienten. Diese Dissertation legt den Grundstein für ein VR, BCI und KI-basiertes Perimetrie-Messsystem, welches insbesondere im ambulanten Setting oder bei Patienten mit Einschränkungen zum Einsatz kommen könnte

An Objectivation of Visual Perception using Virtual Reality, Brain-Computer Interfaces and Deep Learning

Der Sehsinn ermöglicht eine detailgenaue Wahrnehmung der Welt. Virtual Reality (VR), Brain-Computer Interfaces (BCI) und Deep Learning sind neue Technologien, die uns hierbei neue Möglichkeiten für die Erforschung der visuellen Wahrnehmung geben. In dieser Dissertation wird ein System für die Augenheilkunde vorgestellt, das Augenkrankheiten in VR simulieren kann und durch Hinzufügen von BCI und KI eine objektive Diagnostik von Gesichtsfeldausfällen ermöglicht. Für ein besseres Verständnis der Arbeit wird das menschliche Sehen mit Modellen der Computer Vision verglichen und basierend hierauf ein allgemeines vierstufiges Seh-Modell eingeführt. Innerhalb des Modells werden Schnittstellen zwischen der biologisch-realen und der technologisch-virtuellen Welt evaluiert. Besteht heutzutage bei einem Patienten der Verdacht auf einen Gesichtsfeldausfall (Skotom), so werden ophthalmologische Geräte wie das Perimeter zur Ausmessung des Gesichtsfeldes eingesetzt. Das dem Stand der Technik entsprechende Verfahren liegt dem subjektiven Feedback des Patienten zugrunde. Entsprechend können Lerneffekte beim Patienten das Ergebnis nicht unwesentlich beeinflussen. Um diese Problematiken zu umgehen, wurde in dieser Dissertation ein objektives Perimetriesystem auf Basis von VR, BCI und Deep Learning erfolgreich implementiert und evaluiert. Ein weiterer Vorteil des neuen Systems ist die Möglichkeit zur Einsetzung bei Menschen mit Schwerbehinderung, Kindern und Tieren. Der Lösungsansatz dieser Dissertation ist die Simulation (pathologischer/eingeschränkter) Sehzustände. Hierfür wurde der Zustand von Glaukompatienten mit Hilfe von VR-Technologien virtuell abgebildet. Die resultierende VR-Anwendung bildet individuelle Glaukomverläufe immersiv in VR ab. Evaluiert wurde die Simulationsumgebung mit medizinischem Fachpersonal und Glaukompatienten an der Augenklinik des Universitätsklinikums Heidelberg (\textit{N}=22). Hierbei wurde gezeigt, dass VR eine geeignete Maßnahme zur Simulation von Sehbedingungen ist und zum Verständnis des Patientenzustandes einen Beitrag leisten kann. Ausgehend von dieser Simulationsumgebung wurden weitere Software- und Hardwaremodule hinzugefügt. Erzeugte stationäre visuelle Stimuli wurden hierbei eingesetzt, um (simulierte) Sehfehler durch ein Elektroenzephalographie (EEG)-basiertes BCI zu erkennen. Das System wurde in einer internationalen Laborstudie (\textit{N}=15) in Zusammenarbeit mit dem Massachusetts Institute of Technology getestet und validiert. Die gesammelten Daten deuten darauf hin, dass das System für die Klassifizierung des zentralen (88\% Genauigkeit pro 2,5 Sekunden EEG-Daten) und peripheren Gesichtsfeldes (63-81\% Genauigkeit) geeignet ist, während es für periphere Positionen aufgrund der Technologiesensitivität zu Einschränkungen (50-57\% Genauigkeit) kommt. Entsprechend sollte das System für Skotome eingesetzt werden, sofern der Sehausfall das zentrale Sehen oder ganze Quadranten des Gesichtsfelds betrifft. Aufgrund der Notwendigkeit für einen besseren ambulanten EEG-Messaufbau werden modulare, plattformübergreifende Softwareimplementierungen und neuartige, zum Patent angemeldete, EEG-Elektroden vorgestellt. Die neuartigen Elektroden bieten ein besseres Signal-zu-Rausch-Verhältnis als herkömmliche Trockenelektroden (\SI{1,35}{dB} Verbesserung), sind schnell anzulegen, wiederverwendbar und hinterlassen kaum bis keine unerwünschten Rückstände im Haar des Patienten. Diese Dissertation legt den Grundstein für ein VR, BCI und KI-basiertes Perimetrie-Messsystem, welches insbesondere im ambulanten Setting oder bei Patienten mit Einschränkungen zum Einsatz kommen könnte

Objectivation of Visual Perception

Der Sehsinn ermöglicht eine detailgenaue Wahrnehmung der Welt. Virtual Reality (VR), Brain-Computer Interfaces (BCI) und Deep Learning sind neue Technologien, die uns hierbei neue Möglichkeiten für die Erforschung der visuellen Wahrnehmung geben. In dieser Dissertation wird ein System für die Augenheilkunde vorgestellt, das Augenkrankheiten in VR simulieren kann und durch Hinzufügen von BCI und KI eine objektive Diagnostik von Gesichtsfeldausfällen ermöglicht. Für ein besseres Verständnis der Arbeit wird das menschliche Sehen mit Modellen der Computer Vision verglichen und basierend hierauf ein allgemeines vierstufiges Seh-Modell eingeführt. Innerhalb des Modells werden Schnittstellen zwischen der biologisch-realen und der technologisch-virtuellen Welt evaluiert. Besteht heutzutage bei einem Patienten der Verdacht auf einen Gesichtsfeldausfall (Skotom), so werden ophthalmologische Geräte wie das Perimeter zur Ausmessung des Gesichtsfeldes eingesetzt. Das dem Stand der Technik entsprechende Verfahren liegt dem subjektiven Feedback des Patienten zugrunde. Entsprechend können Lerneffekte beim Patienten das Ergebnis nicht unwesentlich beeinflussen. Um diese Problematiken zu umgehen, wurde in dieser Dissertation ein objektives Perimetriesystem auf Basis von VR, BCI und Deep Learning erfolgreich implementiert und evaluiert. Ein weiterer Vorteil des neuen Systems ist die Möglichkeit zur Einsetzung bei Menschen mit Schwerbehinderung, Kindern und Tieren. Der Lösungsansatz dieser Dissertation ist die Simulation (pathologischer/eingeschränkter) Sehzustände. Hierfür wurde der Zustand von Glaukompatienten mit Hilfe von VR-Technologien virtuell abgebildet. Die resultierende VR-Anwendung bildet individuelle Glaukomverläufe immersiv in VR ab. Evaluiert wurde die Simulationsumgebung mit medizinischem Fachpersonal und Glaukompatienten an der Augenklinik des Universitätsklinikums Heidelberg (\textit{N}=22). Hierbei wurde gezeigt, dass VR eine geeignete Maßnahme zur Simulation von Sehbedingungen ist und zum Verständnis des Patientenzustandes einen Beitrag leisten kann. Ausgehend von dieser Simulationsumgebung wurden weitere Software- und Hardwaremodule hinzugefügt. Erzeugte stationäre visuelle Stimuli wurden hierbei eingesetzt, um (simulierte) Sehfehler durch ein Elektroenzephalographie (EEG)-basiertes BCI zu erkennen. Das System wurde in einer internationalen Laborstudie (\textit{N}=15) in Zusammenarbeit mit dem Massachusetts Institute of Technology getestet und validiert. Die gesammelten Daten deuten darauf hin, dass das System für die Klassifizierung des zentralen (88\% Genauigkeit pro 2,5 Sekunden EEG-Daten) und peripheren Gesichtsfeldes (63-81\% Genauigkeit) geeignet ist, während es für periphere Positionen aufgrund der Technologiesensitivität zu Einschränkungen (50-57\% Genauigkeit) kommt. Entsprechend sollte das System für Skotome eingesetzt werden, sofern der Sehausfall das zentrale Sehen oder ganze Quadranten des Gesichtsfelds betrifft. Aufgrund der Notwendigkeit für einen besseren ambulanten EEG-Messaufbau werden modulare, plattformübergreifende Softwareimplementierungen und neuartige, zum Patent angemeldete, EEG-Elektroden vorgestellt. Die neuartigen Elektroden bieten ein besseres Signal-zu-Rausch-Verhältnis als herkömmliche Trockenelektroden (\SI{1,35}{dB} Verbesserung), sind schnell anzulegen, wiederverwendbar und hinterlassen kaum bis keine unerwünschten Rückstände im Haar des Patienten. Diese Dissertation legt den Grundstein für ein VR, BCI und KI-basiertes Perimetrie-Messsystem, welches insbesondere im ambulanten Setting oder bei Patienten mit Einschränkungen zum Einsatz kommen könnte

Multisecond ligand dissociation dynamics from atomistic simulations

Coarse-graining of fully atomistic molecular dynamics simulations is a long-standing goal in order to allow the description of processes occurring on biologically relevant timescales. For example, the prediction of pathways, rates and rate-limiting steps in protein-ligand unbinding is crucial for modern drug discovery. To achieve the enhanced sampling, we first perform dissipation-corrected targeted molecular dynamics simulations, which yield free energy and friction profiles of the molecular process under consideration. In a second step, we use these fields to perform temperature-boosted Langevin simulations which account for the desired molecular kinetics occurring on multisecond timescales and beyond. Adopting the dissociation of solvated sodium chloride as well as trypsin-benzamidine and Hsp90-inhibitor protein-ligand complexes as test problems, we are able to reproduce rates from molecular dynamics simulation and experiments within a factor of 2-20, and dissociation constants within a factor of 1-4. Analysis of the friction profiles reveals that binding and unbinding dynamics are mediated by changes of the surrounding hydration shells in all investigated systems.Comment: This unedited earlier version of the manuscript may be downloaded for personal use only. The final manuscript was published in Nature Communications 11, 2918 (2020) as open access publication and is available at https://www.nature.com/articles/s41467-020-16655-

Model-Driven Dementia Prevention and Intervention Platform

Most types of dementia, including Alzheimer’s disease, are not curable. However, there are risk factors, such as obesity or hypertension, that can promote the development of dementia. Holistic treatment of these risk factors can prevent the onset of dementia or delay it in its early stages. To support individualized treatment of risk factors in dementia, this paper presents a model-driven digital platform. It enables monitoring of biomarkers using smart devices from the internet of medical things (IoMT) for the target group. The collected data from such devices can be used to optimize and adjust treatment in a patient in the loop manner. To this end, providers such as Google Fit and Withings have been connected to the platform as example data sources. To achieve treatment and monitoring data interoperability with existing medical systems, internationally accepted standards such as FHIR are used. The configuration and control of the personalized treatment processes are achieved using a self-developed domain-specific language. For this language, an associated diagram editor was implemented, which allows the management of the treatment processes through graphical models. This graphical representation should help treatment providers to understand and manage these processes more easily. To investigate this hypothesis, a usability study was conducted with twelve participants. We were able to show that such graphical representations provide advantages in clarity in reviewing the system, but lack in easy set-up (compared to wizard-style systems)

Forecasting in dynamic factor models using Bayesian model averaging

This paper considers the problem of forecasting in dynamic factor models using Bayesian model averaging. Theoretical justifications for averaging across models, as opposed to selecting a single model, are given. Practical methods for implementing Bayesian model averaging with factor models are described. These methods involve algorithms which simulate from the space defined by all possible models. We discuss how these simulation algorithms can also be used to select the model with the highest marginal likelihood (or highest value of an information criterion) in an efficient manner. We apply these methods to the problem of forecasting GDP and inflation using quarterly U.S. data on 162 time series. For both GDP and inflation, we find that the models which contain factors do out-forecast an AR(p), but only by a relatively small amount and only at short horizons. We attribute these findings to the presence of structural instability and the fact that lags of dependent variable seem to contain most of the information relevant for forecasting. Relative to the small forecasting gains provided by including factors, the gains provided by using Bayesian model averaging over forecasting methods based on a single model are appreciable

Adaptive forecasting in the presence of recent and ongoing structural change

We consider time series forecasting in the presence of ongoing structural change where both the time series dependence and the nature of the structural change are unknown. Methods that downweight older data, such as rolling regressions, forecast averaging over different windows and exponentially weighted moving averages, known to be robust to historical structural change, are found to be also useful in the presence of ongoing structural change in the forecast period. A crucial issue is how to select the degree of downweighting, usually defined by an arbitrary tuning parameter. We make this choice data dependent by minimizing forecast mean square error, and provide a detailed theoretical analysis of our proposal. Monte Carlo results illustrate the methods. We examine their performance on 191 UK and US macro series. Forecasts using data-based tuning of the data discount rate are shown to perform well

Modeling the dynamics of inflation compensation

This paper investigates the relationship between short-term and long-term inflation expectations using daily data on inflation compensation. We use a flexible econometric model which allows us to uncover this relationship in a data-based manner. We relate our …ndings to the issue of whether inflation expectations are anchored, unmoored or contained. Our empirical results indicate no support for either unmoored or …rmly anchored inflation expectations. Most evidence indicates that inflation expectations are contained

AI, Robotics, and Clinical Research for Innovative Dementia Interventions: A Japanese-German Collaboration

After a successful international workshop in Karlsruhe, Germany in June 2023, transformative initiative is underway involving major institutions: the RIKEN Cognitive Behavioral Assistive Technology (CB-AT) Team in Japan, the Deutsches Zentrum für Neurodegenerative Erkrankungen (DZNE) Rostock/Greifswald, Rostock, the Forschungszentrum Informatik (FZI) and the Karlsruhe Institute of Technology, Institute for Information Processing Technology as well as the Institute for Entrepreneurship, Technology Management and Innovation. The unique strengths of these institutions unite in an interdisciplinary collaboration focusing on novel dementia interventions. This consortium envisions the future of dementia care and the prevention of its progress – a model that brings together the strengths of AI, robotics, digital platforms, and clinical research, not just targeting patients but considering dyadic interventions that support both patients and caregivers. The KIT and FZI from Karlsruhe bring to the table expertise in software and AI engineering, and experience in research transfer. Particularly crucial is the role of the METIS platform, which supports multi-stage treatment processes for neurodegenerative diseases in an outpatient setting, integrating modern wearables and AI personalization of treatment strategies. RIKEN CB-AT complements this with robotics and system integration capabilities, including access to robots ready for integration into care regimens. The institute is renowned for its speech intervention strategies in dementia prevention, fostering the idea of using robots to aid caregivers and patients alike. Ultimately, the robots could serve as a base station, actively engaging with caregivers, assessing their stress levels, and providing mitigation strategies while simultaneously collecting crucial data. DZNE Rostock/Greifswald rounds out the partnership with a robust clinical background and access to well-defined clinical cohorts. Their research provides valuable insights into patient needs. Furthermore, their proficiency in qualitative research and dyadic interventions adds an essential layer of complexity to the project. In this alliance, a shared ethos of participatory approach, modern digital and wearable technology adoption, and individualized intervention strategies enable a unified research vision. The potential outcomes are manifold: they include technologies for outpatient measurements of intervention, prevention and care, robots aiding caregivers and patients, digitalization of care pathways, stress mitigation, and more. All partners strive to establish bi-lateral connections between existing technology and new integrations, enabling data insights from a variety of sources, including smartwatches, smartphones, robots, novel technology, and caregiver-patient interactions. These insights can be used for the personalization of intervention and care, medication, early detection of emergency situations, and strategies to empower patients and enhance the resilience of caregivers. Once addressed, the opportunity for transformative early prevention of dementia progression are immense. The expected outcomes span joint research projects, scientific publications, societal impact, and entrepreneurial initiatives. In conclusion, this collaborative venture aspires to make strides in dementia care and intervention through the integrative use of platform-based AI, robotics, and clinical research, fostering an enhanced care ecosystem that values patients and caregivers

Digital Health Apps in the Context of Dementia: Questionnaire Study to Assess the Likelihood of Use Among Physicians

Background: Age-related diseases such as dementia are playing an increasingly important role in global population development. Thus, prevention, diagnostics, and interventions require more accessibility, which can be realized through digital health apps. With the app on prescription, Germany made history by being the first country worldwide to offer physicians the possibility to prescribe and reimburse digital health apps as of the end of the year 2020. Objective: Considering the lack of knowledge about correlations with the likelihood of use among physicians, this study aimed to address the question of what makes the use of a digital health app by physicians more likely. Methods: We developed and validated a novel measurement tool—the Digital Health Compliance Questionnaire (DHCQ)—in an interdisciplinary collaboration of experts to assess the role of proposed factors in the likelihood of using a health app. Therefore, a web-based survey was conducted to evaluate the likelihood of using a digital app called DemPredict to screen for Alzheimer dementia. Within this survey, 5 latent dimensions (acceptance, attitude toward technology, technology experience, payment for time of use, and effort of collection), the dependent variable likelihood of use, and answers to exploratory questions were recorded and tested within directed correlations. Following a non–probability-sampling strategy, the study was completed by 331 physicians from Germany in the German language, of whom 301 (90.9%) fulfilled the study criteria (eg, being in regular contact with patients with dementia). These data were analyzed using a range of statistical methods to validate the dimensions of the DHCQ. Results: The DHCQ revealed good test theoretical measures—it showed excellent fit indexes (Tucker-Lewis index=0.98; comparative fit index=0.982; standardized root mean square residual=0.073; root mean square error of approximation=0.037), good internal consistency (Cronbach α=.83), and signs of moderate to large correlations between the DHCQ dimensions and the dependent variable. The correlations between the variables acceptance, attitude toward technology, technology experience, and payment for the time of use and the dependent variable likelihood of use ranged from 0.29 to 0.79, and the correlation between effort of the collection and likelihood of use was −0.80. In addition, we found high levels of skepticism regarding data protection, and the age of the participants was found to be negatively related to their technical experience and attitude toward technology. Conclusions: In the context of the results, increased communication between the medical and technology sectors and significantly more awareness raising are recommended to make the use of digital health apps more attractive to physicians as they can be adjusted to their everyday needs. Further research could explore the connection between areas such as adherence on the patient side and its impact on the likelihood of use by physicians